SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
SpeakerLLM：专精于说话人理解与验证推理的音频大语言模型
🧭 音频LLM的说话人理解与验证推理
Korea Advanced Institute of Science and Technology (KAIST) · University of Seoul
通过层级说话人 tokenizer 和结构化推理轨迹，统一了说话人画像、录音条件理解和证据组织的验证推理。
📌 工作参考价值（4 点）
- 在语音交互的电商客服Agent中，可借鉴层级说话人 tokenizer 设计：粗粒度嵌入快速匹配用户身份，细粒度帧级特征捕获情绪、口音等属性，用于个性化服务与内容推荐。
- 结构化推理轨迹（录音条件、证据、决策）的分离模式，可迁移到推荐系统的可解释理由生成，提供可审计的决策链。
- 决策复合策略分离证据收集与最终判断，可用于多Agent协作场景，让不同Agent负责信息收集，由决策Agent综合证据，提升系统可靠性。
- 利用LLM自动构建带结构化元数据的监督数据集的方法，可复用至生成式推荐的对齐训练，低成本生成推荐理由与用户画像的标注数据。